Từ xưa, thành phố Lạng Sơn là trung tâm của một vùng đất biên giới, nằm trên con đường giao thông huyết mạch có từ rất lâu, nối liền từ vùng biên ải đến kinh thành Thăng Long. Đây cũng là con đường giao lưu chính trị - kinh tế - văn hóa - xã hội giữa các triều đại phong kiến Việt Nam với các triều đại phong kiến Trung Quốc. Nơi đây cũng đã từng diễn ra nhiều trận đánh lịch sử để bảo vệ biên cương chống lại kẻ thù từ phương Bắc của nhiều thế hệ quân dân Việt Nam.

Theo nhiều tài liệu lịch sử, Lạng Sơn vốn đã trải qua thời kỳ là trấn lỵ, châu lỵ, phủ lỵ - là trung tâm của bộ máy hành chính từ thời phong kiến, từ thời nhà Hán, nhà Đường của Trung Quốc đô hộ, Việt Nam được chia thành 9 quận thì Lạng Sơn thuộc quận Giao Chỉ (châu Giao).

Thời nhà Đinh, vùng đất ở khu vực đình Pác Mòng, thành phố Lạng Sơn ngày nay từng là nơi Đinh Bộ Lĩnh tiến đến dẹp loạn.

Đến thời nhà Lý (thế kỷ 11), Lạng Sơn được gọi là châu Lạng, do dòng họ Thân (Thân Thừa Quý - vốn là phò mã nhà Lý) cai trị.

Đời nhà Trần (thế kỷ 13) gọi Lạng Sơn là Lạng châu lộ, năm Quang Thái thứ 10 đổi thành trấn Lạng Sơn và đặt lỵ sở ở khu vực xã Mai Pha, thành phố Lạng Sơn ngày nay và cho xây dựng Đoàn thành.

Đến thời nhà Lê (thế kỷ 15), để củng cố quân sự chống quân xâm lược nhà Minh. Lạng Sơn được bố trí nhiều cơ quan hành chính, kinh tế, quân sự gọi là vệ, cục, ty,... dưới quyền của Lạng Sơn Thừa chính tư.

Năm Hồng Đức thứ 26, Đoàn Thành Lạng Sơn tiếp tục được tu bổ, gia cố lại. Sách Dư Địa Chí của Nguyễn Nghiễm viết: "Xung quanh trấn thành đã hình thành nên rất nhiều "chợ" và "phố" như: phố Kỳ Lừa, phố Trường Thịnh, Đồng Đăng, thu hút thương nhân, lái buôn trong nước và người Trung Quốc đến buôn bán, trao đổi hàng hóa đông vui, tấp nập".

Đến triều nhà Nguyễn, Đoàn Thành Lạng Sơn một lần nữa được tu bổ vào năm Minh Mệnh thứ 15 (1835).

Năm 1925, thị xã Lạng Sơn được thành lập, và là tỉnh lỵ của tỉnh Lạng Sơn, chia làm hai khu vực tự nhiên, lấy sông Kỳ Cùng làm ranh giới, phía bờ nam gọi là "bên tỉnh", phía bờ bắc gọi là "bên Kỳ Lừa". Bên tỉnh là tập trung các cơ quan công sở hành chính của bộ máy chính quyền tỉnh. Bên Kỳ Lừa là nơi tập trung các phố chợ, diễn ra các hoạt động sinh hoạt, sản xuất, kinh doanh, buôn bán của người dân.

Trong những năm diễn ra cuộc kháng chiến chống Pháp, thị xã Lạng Sơn là nơi diễn ra các chiến dịch nổi tiếng như Thu đông (1947), chiến dịch Biên giới (1950).

Từ sau năm 1954, với vị trí địa đầu của đất nước, thị xã Lạng Sơn được coi như một "cảng nổi" - là đầu mối tiếp nhận, lưu trữ hàng hóa viện trợ của các nước xã hội Chủ nghĩa ủng hộ Việt Nam.

Năm 1979, cuộc chiến tranh biên giới phía bắc với Trung Quốc đã diễn ra ác liệt ở khu vực biên giới và tràn xuống gần cả khu vực thị xã Lạng Sơn, khiến thị xã đã bị thiệt hại nặng nề.

Ngày 27 tháng 12 năm 1975, hai tỉnh Cao Bằng và Lạng Sơn hợp nhất thành tỉnh Cao Lạng[3], thị xã Lạng Sơn là một đơn vị hành chính thuộc tỉnh Cao Lạng, gồm 4 phường: Chi Lăng, Hoàng Văn Thụ, Tam Thanh, Vĩnh Trại và xã Đông Kinh.

Ngày 30 tháng 8 năm 1977, chuyển 4 xã: Hoàng Đồng, Quảng Lạc, Mai Pha, Hợp Thành thuộc huyện Cao Lộc vào thị xã Lạng Sơn.[4]

Ngày 29 tháng 12 năm 1978[5], tỉnh Cao Lạng tách thành 2 tỉnh Cao Bằng và Lạng Sơn như cũ, thị xã trở lại là tỉnh lị tỉnh Lạng Sơn.

Ngày 22 tháng 11 năm 1986, chuyển xã Hợp Thành về huyện Cao Lộc quản lý (trừ hợp tác xã Liên Thành sáp nhập vào xã Đông Kinh).[6]

Ngày 29 tháng 8 năm 1994, chuyển xã Đông Kinh thành phường Đông Kinh.

Ngày 18 tháng 7 năm 2000, Bộ Xây dựng ban hành Quyết định số 997/QĐ-BXD công nhận thị xã Lạng Sơn là đô thị loại III trực thuộc tỉnh Lạng Sơn.[7]

Ngày 17 tháng 10 năm 2002, Chính phủ đã có nghị định 82/2002/NĐ-CP về việc nâng cấp thị xã Lạng Sơn thành thành phố Lạng Sơn.[8]

Ngày 25 tháng 3 năm 2019, Thủ tướng Chính phủ ban hành Quyết định số 325/QĐ-TTg công nhận thành phố Lạng Sơn là đô thị loại II trực thuộc tỉnh Lạng Sơn.[9]